Deep Learning PSPNet으로 뇌종양을 검출해 보았다 (colab 환경) 이번은 Semantic Segmentation의 PSPNet에서 뇌의 MRI 이미지의 데이터 세트를 학습시켜 가시화까지 실시했습니다. kagge에서 공개된 뇌의 MRI 데이터 세트( )를 사용했습니다. 추출된 2048×60×60의 특징 맵을 5개로 분기시켜 1개는 그대로 나머지는 4개는 3. 업 샘플링하여 4 개의 특징 맵을 512 × 60 × 60으로 설정 하나 놓은 2048×60×60의 ... PyTorchSemanticSegmentationpspnetDeep Learning Simple Network 구현하기 필요한 모듈을 로드하고, 데이터셋을 다음과 같이 불러올 수 있다. 아래와 같은 훈련 데이터셋의 첫 번째 이미지(그래프)를 얻을 수 있다. 앞서 살펴본 MNIST 데이터를 처리할 수 있는 신경망을 만들어보도록 하자. 우선 신경망을 구축하기 위해서는 Layer 개수와, Layer별 노드 수를 설정해서(hyperparameter) 이에 맞는 Weight matrix, Bias matrix 변수를 ... Deep LearningDeep Learning 모두를 위한 딥러닝 시즌2 - PyTorch Lab 3 이를 통해 기울기가 지나치게 크면 실제 값과 예측 값의 오차가 커지고, 기울기가 지나치게 작아도 실제 값과 예측 값의 오차가 커진다는 것을 알 수 있게 되었습니다. 이 부분에 해당하는 cost(W)가 가장 최소값을 가지게하는 W를 찾는 것이 목표입니다. cost(W) cost(W)를 최소화하는 W가 임의의 값을 가지게 되는 4가지 경우에 대해서 그래프 상으로 접선의 기울기를 보여줍니다. 접선... 모두를위한딥러닝Deep LearningPyTorchDeep Learning 모두를 위한 딥러닝 시즌2 - PyTorch Lab 2 이에 대한 답변을 우리는 쉽게 생각할 수 있지만, 우리는 모델을 사용하여서 몇 점을 맞을 지 예측하고 싶은 것이며, 이를 위해 모델에 데이터를 학습시키는 과정을 거치며, 이때 사용되는 데이터 셋을 훈련 데이터셋이라고 하며, 추가적으로 이 모델이 얼마나 잘 작동하는지 테스트 할 필요성이 있기에 이때 사용되는 데이터셋이 테스트 데이터 셋이라고 합니다. 우리가 학습을 하는 목표는 이러한 4개의 점... 모두를위한딥러닝Deep LearningPyTorchDeep Learning 모두를 위한 딥러닝 시즌2 - PyTorch Lab 1-2 두번째 단락에서 첫 번째 단락의 [2,2,3]의 3차원 텐서를 view[-1,3]을 통해 변경한 결과 [4,3]가 나온 것을 확인할 수 있습니다. 여기서 view[-1,3]가 의미하는 바는 [?, 3]의 크기로 텐서를 바꾸어달라는 의미이며, ?에 해당하는 부분은 PyTorch에 역할을 맡겨 자동으로 크기를 변경해줍니다. 그래서 최종적으로 [4,1,3]이 되는 것을 알 수 있습니다. 그 결과 ... 모두를위한딥러닝Deep LearningPyTorchDeep Learning [밑바닥부터 시작하는 딥러닝] 6. 학습 관련 기술들 part1 - 매개변수 갱신 최적의 매개변수 값을 찾는 단서로 매개변수의 기울기(미분)을 이용 SGD의 수식에서 알 수 있다시피 SGD는 기울어진 방향으로 일정 거리만 가겠다는 단순한 방법임 구현은 다음과 같다. 함수에서는 정의에서의 '성질'을 '기울기' 라고 해석할 수 있다. 등방성 함수의 예시는 다음과 같다. 이 함수의 기울기는 다음과 같다. 등방성 함수는 각 위치에서 기울어진 방향의 본래의 최솟값을 가리킴을 알 수... 모멘텀Deep Learningadam확률적 경사 하강법AdaGrad딥러닝momentumDeep Learning from ScratchSGDAdaGrad (작성중)[survey 논문 정리] 3D reconstruction using deep learning : a survey 3D reconstruction 분야에 관심이 생겨 이 분야에 대해 알아보기 위해 2020년 Communications in Information and Systems 에 개제된 survey 논문을 읽고 정리하려 한다. 본 서베이 논문은 deep learning 기반의 3D reconstruction 분야의 classical, latest works를 모두 다루며, all surveyed m... Deep Learning작성중3D reconstructionsurvey3D reconstruction CNN(Convolution Neural Network) 이론 따라서 CNN은 feature extraction을 통해 이미지를 학습하게 된다. stride는 입력 데이터(원본 image또는 feature map)에 Conv Filter를 적용시킬 때 Sliding Window가 이동하는 가격을 의미한다. Filter를 적용해서 Convolution 연산 수행 시 출력 feature map이 입력 feature map대비 작아지는 것을 막기 위하여 배열... Deep LearningCNNCNN 텐서(Tensor)의 이해 최근의 모든 머신 러닝 시스템은 일반적으로 텐서를 기본 데이터 구조로 사용한다. 데이터를 위한 컨테이너라고 생각하면된다. 텐서의 특성 텐서의 각 축을 따라 얼마나 많은 차원이 있는지를 나타낸 튜플 넘파이 배열에서는 shape을 통해 확인할수있다. 텐서에 포함된 데이터 타입이다. dtpye 속성으로 데이터를 확인할 수 있다. 1. 스칼라(0D Tensor) 스칼라의 축의 개수는 0개이다. 2.... Deep LearningDeep Learning Neural Network 순전파 행렬곱셈 과 배치처리 배치처리 사이킷 런의 iris 데이터는 feature의 수가 총 4개 그리고 타겟은 3가지의 class이다. 이를 1번째층은 50개의 hidden layer, 2번째 층은 100개의 hidden layer를 가진 신경망 모델을 만든다고 하면 하나의 데이터에 대한 신경망 배열의 현상은 다음과 같다. 하지만 iris데이터의 총 수는 150개 이므로 이 데이터를 하나씩 계산하면 오래 걸린다. 이 ... Deep LearningDeep Learning Neural Network 손실함수(Loss funstion, Cost function) 손실 함수는 신경망 성능의 "나쁨"을 나타내는 지표로, 현재의 신경망이 훈련 데이터를 얼마나 잘 처리하지 "못"하느냐를 나타낸다. 신경망 학습에서는 최적의 매개변수를 탐색할 때 손실 함수의 값을 가능환 한 작게 하는 매개변수 값을 찾는다. 미분값이 음수면 가중치 매개변수를 양의 방향으로 변환시켜 손실 함수의 값을 줄일 수 있고, 반대로 미분 값이 양수이면 가중치 매개변수를 음의 방향으로 변환... Deep LearningDeep Learning Hands-on ML Ch 10: Neural Network 가중치의 합을 계산하고 이에 step function 을 적용하여 결과를 출력. 각 TLU (threshold logic unit) 이 모든 입력층에 연결되어 있을 때 이를 Fully Connected Layer 라고 부름. 퍼셉트론에 한 번에 한 개의 샘플이 주입되면 각 샘플에 대해 예측이 만들어지고, 잘못된 예측을 하는 모든 출력 뉴런에 대해 올바른 예측을 만들 수 있도록 입력에 연결된 ... CNNDeep LearningCNN [DL4CV] First Image Classifier 즉, 이미지 분류 알고리즘을 사용하기 전엔 항상 데이터셋 크기를 인식해야 한다. 본격적인 CNN 모델을 구현하기에 앞서 k-NN 분류기를 활용해 raw pixel 강도만을 사용해 이미지에서 올바르게 클래스를 분류하는 코드를 구현해볼 것이다. k-NN, SVM, CNN과 같은 머신러닝 알고리즘은 데이터셋의 모든 이미지가 고정된 벡터 사이즈일 것을 요구한다. k-NN 알고리즘은 k개의 근접한 이... pythonDeep LearningComputer Visionk-NNComputer Vision Deep Learning day 7 CIFAR10 ImageAugmentation imports 데이터 적재 데이터 시각화 데이터 전처리 데이터 증강 (샘플 예시) 데이터 증강 모델 생성 및 컴파일 Callback 정의 모델 학습 테스트 데이터에서 평가... Deep LearningDeep Learning n431.CNN Part 1: Convolution & pooling 개념을 설명할 수 있다. 공간적으로 가까운 픽셀은 값이 비슷하거나, RGB의 각 채널은 서로 밀접하게 관련되어 있거나, 거리가 먼 픽셀끼리는 별 연관이 없는 등) 그러나 완전연결 계층은 이러한 형상을 무시하고 모든 입력 데이터를 동등한 뉴런(같은 차원의 뉴런)으로 취급하여 결과적으로 이미지 공간 정보 유실로 인한 정보 부족으로 인공 신경망... Deep LearningAI BootcampAI Bootcamp [DL] 손글씨 숫자 인식 이번에는 이미 학습된 매개변수를 사용하여 학습 과정을 생략하고, 추론 과정만 구현 이 추론 과정을 신경망의 순전파(forward propagation)이라고도 한다. MINIST 데이터셋은 손글씨 숫자 이미지 집합으로, 기계학습 분야세어 유명한 데이터셋이다. 훈련 이미지(train set)가 60000장, 시험 이미지(test set)은 10000장 준비되어 있다. 일반적으로 이 훈련 이미지... mnistDeep Learningmachine learningDeep Learning Deep Learning day 8 cat-and-dog-vgg16 Cat and Dog DataSet Cats and Dogs dataset to train a DL model Imports Load Dataset Visualize Data Preprocess data (from dataframe) fetch some data Create Model Compile Model, Train Evaluate VGG16 Pre-trained Model 이용하기 T... Deep LearningDeep Learning [DL] AND / NAND / OR 가중치 편향 구현 밑바닥부터 시작하는 딥러닝1 책을 공부하면서 (개인 책이 아니기 때문에) 메모할 내용들을 여기에 적기위해서 작성 내용은 퍼셉트론(2장) 부분을 공부 중에 있음 가중치 (weight) w1, w2라고 하는 가중치는 각 입력 신호가 결과에 주는 영향력(중요도)을 조절하는 매개변수 편향(bias) 뉴런이 얼마나 쉽게 활성화하느냐를 조정하는 매개변수 XOR 게이트 XOR은 위 그래프처럼 x1과 x2... Deep Learningmachine learningPerceptronDeep Learning
PSPNet으로 뇌종양을 검출해 보았다 (colab 환경) 이번은 Semantic Segmentation의 PSPNet에서 뇌의 MRI 이미지의 데이터 세트를 학습시켜 가시화까지 실시했습니다. kagge에서 공개된 뇌의 MRI 데이터 세트( )를 사용했습니다. 추출된 2048×60×60의 특징 맵을 5개로 분기시켜 1개는 그대로 나머지는 4개는 3. 업 샘플링하여 4 개의 특징 맵을 512 × 60 × 60으로 설정 하나 놓은 2048×60×60의 ... PyTorchSemanticSegmentationpspnetDeep Learning Simple Network 구현하기 필요한 모듈을 로드하고, 데이터셋을 다음과 같이 불러올 수 있다. 아래와 같은 훈련 데이터셋의 첫 번째 이미지(그래프)를 얻을 수 있다. 앞서 살펴본 MNIST 데이터를 처리할 수 있는 신경망을 만들어보도록 하자. 우선 신경망을 구축하기 위해서는 Layer 개수와, Layer별 노드 수를 설정해서(hyperparameter) 이에 맞는 Weight matrix, Bias matrix 변수를 ... Deep LearningDeep Learning 모두를 위한 딥러닝 시즌2 - PyTorch Lab 3 이를 통해 기울기가 지나치게 크면 실제 값과 예측 값의 오차가 커지고, 기울기가 지나치게 작아도 실제 값과 예측 값의 오차가 커진다는 것을 알 수 있게 되었습니다. 이 부분에 해당하는 cost(W)가 가장 최소값을 가지게하는 W를 찾는 것이 목표입니다. cost(W) cost(W)를 최소화하는 W가 임의의 값을 가지게 되는 4가지 경우에 대해서 그래프 상으로 접선의 기울기를 보여줍니다. 접선... 모두를위한딥러닝Deep LearningPyTorchDeep Learning 모두를 위한 딥러닝 시즌2 - PyTorch Lab 2 이에 대한 답변을 우리는 쉽게 생각할 수 있지만, 우리는 모델을 사용하여서 몇 점을 맞을 지 예측하고 싶은 것이며, 이를 위해 모델에 데이터를 학습시키는 과정을 거치며, 이때 사용되는 데이터 셋을 훈련 데이터셋이라고 하며, 추가적으로 이 모델이 얼마나 잘 작동하는지 테스트 할 필요성이 있기에 이때 사용되는 데이터셋이 테스트 데이터 셋이라고 합니다. 우리가 학습을 하는 목표는 이러한 4개의 점... 모두를위한딥러닝Deep LearningPyTorchDeep Learning 모두를 위한 딥러닝 시즌2 - PyTorch Lab 1-2 두번째 단락에서 첫 번째 단락의 [2,2,3]의 3차원 텐서를 view[-1,3]을 통해 변경한 결과 [4,3]가 나온 것을 확인할 수 있습니다. 여기서 view[-1,3]가 의미하는 바는 [?, 3]의 크기로 텐서를 바꾸어달라는 의미이며, ?에 해당하는 부분은 PyTorch에 역할을 맡겨 자동으로 크기를 변경해줍니다. 그래서 최종적으로 [4,1,3]이 되는 것을 알 수 있습니다. 그 결과 ... 모두를위한딥러닝Deep LearningPyTorchDeep Learning [밑바닥부터 시작하는 딥러닝] 6. 학습 관련 기술들 part1 - 매개변수 갱신 최적의 매개변수 값을 찾는 단서로 매개변수의 기울기(미분)을 이용 SGD의 수식에서 알 수 있다시피 SGD는 기울어진 방향으로 일정 거리만 가겠다는 단순한 방법임 구현은 다음과 같다. 함수에서는 정의에서의 '성질'을 '기울기' 라고 해석할 수 있다. 등방성 함수의 예시는 다음과 같다. 이 함수의 기울기는 다음과 같다. 등방성 함수는 각 위치에서 기울어진 방향의 본래의 최솟값을 가리킴을 알 수... 모멘텀Deep Learningadam확률적 경사 하강법AdaGrad딥러닝momentumDeep Learning from ScratchSGDAdaGrad (작성중)[survey 논문 정리] 3D reconstruction using deep learning : a survey 3D reconstruction 분야에 관심이 생겨 이 분야에 대해 알아보기 위해 2020년 Communications in Information and Systems 에 개제된 survey 논문을 읽고 정리하려 한다. 본 서베이 논문은 deep learning 기반의 3D reconstruction 분야의 classical, latest works를 모두 다루며, all surveyed m... Deep Learning작성중3D reconstructionsurvey3D reconstruction CNN(Convolution Neural Network) 이론 따라서 CNN은 feature extraction을 통해 이미지를 학습하게 된다. stride는 입력 데이터(원본 image또는 feature map)에 Conv Filter를 적용시킬 때 Sliding Window가 이동하는 가격을 의미한다. Filter를 적용해서 Convolution 연산 수행 시 출력 feature map이 입력 feature map대비 작아지는 것을 막기 위하여 배열... Deep LearningCNNCNN 텐서(Tensor)의 이해 최근의 모든 머신 러닝 시스템은 일반적으로 텐서를 기본 데이터 구조로 사용한다. 데이터를 위한 컨테이너라고 생각하면된다. 텐서의 특성 텐서의 각 축을 따라 얼마나 많은 차원이 있는지를 나타낸 튜플 넘파이 배열에서는 shape을 통해 확인할수있다. 텐서에 포함된 데이터 타입이다. dtpye 속성으로 데이터를 확인할 수 있다. 1. 스칼라(0D Tensor) 스칼라의 축의 개수는 0개이다. 2.... Deep LearningDeep Learning Neural Network 순전파 행렬곱셈 과 배치처리 배치처리 사이킷 런의 iris 데이터는 feature의 수가 총 4개 그리고 타겟은 3가지의 class이다. 이를 1번째층은 50개의 hidden layer, 2번째 층은 100개의 hidden layer를 가진 신경망 모델을 만든다고 하면 하나의 데이터에 대한 신경망 배열의 현상은 다음과 같다. 하지만 iris데이터의 총 수는 150개 이므로 이 데이터를 하나씩 계산하면 오래 걸린다. 이 ... Deep LearningDeep Learning Neural Network 손실함수(Loss funstion, Cost function) 손실 함수는 신경망 성능의 "나쁨"을 나타내는 지표로, 현재의 신경망이 훈련 데이터를 얼마나 잘 처리하지 "못"하느냐를 나타낸다. 신경망 학습에서는 최적의 매개변수를 탐색할 때 손실 함수의 값을 가능환 한 작게 하는 매개변수 값을 찾는다. 미분값이 음수면 가중치 매개변수를 양의 방향으로 변환시켜 손실 함수의 값을 줄일 수 있고, 반대로 미분 값이 양수이면 가중치 매개변수를 음의 방향으로 변환... Deep LearningDeep Learning Hands-on ML Ch 10: Neural Network 가중치의 합을 계산하고 이에 step function 을 적용하여 결과를 출력. 각 TLU (threshold logic unit) 이 모든 입력층에 연결되어 있을 때 이를 Fully Connected Layer 라고 부름. 퍼셉트론에 한 번에 한 개의 샘플이 주입되면 각 샘플에 대해 예측이 만들어지고, 잘못된 예측을 하는 모든 출력 뉴런에 대해 올바른 예측을 만들 수 있도록 입력에 연결된 ... CNNDeep LearningCNN [DL4CV] First Image Classifier 즉, 이미지 분류 알고리즘을 사용하기 전엔 항상 데이터셋 크기를 인식해야 한다. 본격적인 CNN 모델을 구현하기에 앞서 k-NN 분류기를 활용해 raw pixel 강도만을 사용해 이미지에서 올바르게 클래스를 분류하는 코드를 구현해볼 것이다. k-NN, SVM, CNN과 같은 머신러닝 알고리즘은 데이터셋의 모든 이미지가 고정된 벡터 사이즈일 것을 요구한다. k-NN 알고리즘은 k개의 근접한 이... pythonDeep LearningComputer Visionk-NNComputer Vision Deep Learning day 7 CIFAR10 ImageAugmentation imports 데이터 적재 데이터 시각화 데이터 전처리 데이터 증강 (샘플 예시) 데이터 증강 모델 생성 및 컴파일 Callback 정의 모델 학습 테스트 데이터에서 평가... Deep LearningDeep Learning n431.CNN Part 1: Convolution & pooling 개념을 설명할 수 있다. 공간적으로 가까운 픽셀은 값이 비슷하거나, RGB의 각 채널은 서로 밀접하게 관련되어 있거나, 거리가 먼 픽셀끼리는 별 연관이 없는 등) 그러나 완전연결 계층은 이러한 형상을 무시하고 모든 입력 데이터를 동등한 뉴런(같은 차원의 뉴런)으로 취급하여 결과적으로 이미지 공간 정보 유실로 인한 정보 부족으로 인공 신경망... Deep LearningAI BootcampAI Bootcamp [DL] 손글씨 숫자 인식 이번에는 이미 학습된 매개변수를 사용하여 학습 과정을 생략하고, 추론 과정만 구현 이 추론 과정을 신경망의 순전파(forward propagation)이라고도 한다. MINIST 데이터셋은 손글씨 숫자 이미지 집합으로, 기계학습 분야세어 유명한 데이터셋이다. 훈련 이미지(train set)가 60000장, 시험 이미지(test set)은 10000장 준비되어 있다. 일반적으로 이 훈련 이미지... mnistDeep Learningmachine learningDeep Learning Deep Learning day 8 cat-and-dog-vgg16 Cat and Dog DataSet Cats and Dogs dataset to train a DL model Imports Load Dataset Visualize Data Preprocess data (from dataframe) fetch some data Create Model Compile Model, Train Evaluate VGG16 Pre-trained Model 이용하기 T... Deep LearningDeep Learning [DL] AND / NAND / OR 가중치 편향 구현 밑바닥부터 시작하는 딥러닝1 책을 공부하면서 (개인 책이 아니기 때문에) 메모할 내용들을 여기에 적기위해서 작성 내용은 퍼셉트론(2장) 부분을 공부 중에 있음 가중치 (weight) w1, w2라고 하는 가중치는 각 입력 신호가 결과에 주는 영향력(중요도)을 조절하는 매개변수 편향(bias) 뉴런이 얼마나 쉽게 활성화하느냐를 조정하는 매개변수 XOR 게이트 XOR은 위 그래프처럼 x1과 x2... Deep Learningmachine learningPerceptronDeep Learning